多模态语料库作为一种新型计算机辅助医学诊断与学习研究的工具，有利于相似病例的诊治借鉴，但基于直观影像和电子病历标注的多模态医学语料库并不多见，且多数为人工构建，费时费力，如甲状腺等语料库。因此，该文提出了一种基于医学影像和病历文本的甲状腺多模态语料库的自动构建方法。由于甲状腺结节的声像图表现复杂多样以及良恶性判断困难，基于传统深度学习的医学影像分类方法的精度较低，该文提出基于特征筛选的深度学习分类方法去除冗余和噪声特征，提高良恶性分类准确率，并结合自然语言处理方法提取电子病历的关键文本特征信息以构建多模态语料库。实验结果表明，该文提出的分类算法在甲状腺超声影像数据集可以实现甲状腺结节良恶性的精确分类识别，有效构建医学影像与电子病历多模态语料库。该语料库的建立有利于相关案例教学，方便医学生自学有关的医学知识，也为医务工作者更为全面和准确地解读疾病的病理信息提供重要的参考价值。